瞬态现象在多个尺度上协调大脑活性方面起着关键作用,但是,它们的潜在机制在很大程度上仍然未知。因此,神经数据科学的一个关键挑战是表征这些事件期间的网络交互。使用结构性因果模型的形式主义及其图形表示,我们研究了基于信息理论的理论和经验特性,基于信息理论的因果力量测量在反复自发的瞬态事件的背景下。在这种环境中显示了转移熵和动态因果强度的局限性之后,我们引入了一种新颖的度量,相对动态的因果强度,并为其益处提供了理论和经验支持。这些方法应用于模拟和实验记录的神经时间序列,并与我们当前对潜在脑电路的理解相吻合。
translated by 谷歌翻译
潜在变量模型(LVM)的无监督学习被广泛用于表示机器学习中的数据。当这样的模型反映了地面真理因素和将它们映射到观察的机制时,有理由期望它们允许在下游任务中进行概括。但是,众所周知,如果不在模型类上施加限制,通常无法实现此类可识别性保证。非线性独立组件分析是如此,其中LVM通过确定性的非线性函数将统计上独立的变量映射到观察。几个伪造解决方案的家庭完全适合数据,但是可以在通用环境中构建与地面真相因素相对应的。但是,最近的工作表明,限制此类模型的功能类别可能会促进可识别性。具体而言,已经提出了在Jacobian矩阵中收集的部分衍生物的函数类,例如正交坐标转换(OCT),它们强加了Jacobian柱的正交性。在目前的工作中,我们证明了这些转换的子类,共形图,是可识别的,并提供了新颖的理论结果,这表明OCT具有防止虚假解决方案家族在通用环境中破坏可识别性的特性。
translated by 谷歌翻译
我们如何获得世界模型,这些模型在什么以及我们的行动如何影响它方面都在终止代表外界?我们可以通过与世界互动而获得此类模型,并且我们是否可以说明数学逃亡者与他们与脑海中存在的假设现实的关系?随着机器学习不仅朝着包含观察性的代表性,而且介入介入知识的趋势,我们使用代表学习和小组理论的工具研究了这些问题。在假设我们的执行者对世界上作用的假设,我们提出了学习的方法,不仅要学习感官信息的内部表示,而且还以与世界上的行动和过渡相一致的方式来修改我们的感觉表示的行为。我们使用配备有线性作用在其潜在空间上的组表示的自动编码器,该空间对2步重建进行了训练,例如在组表示上执行合适的同构属性。与现有工作相比,我们的方法对组表示的假设更少,并且代理可以从组中采样的转换。我们从理论上激励我们的方法,并从经验上证明它可以学习群体和环境拓扑的正确表示。我们还将其在轨迹预测中的性能与以前的方法进行比较。
translated by 谷歌翻译
复杂系统通常包含可谓循环因果模型的反馈循环。在这种系统中干预可能导致反向直观的效果,这不能直接从图形结构推断。在建立基于LIE组的可分辨率干预框架之后,我们利用现代的自动差异化技术及其应用于隐含功能,以便优化循环因果模型中的干预措施。我们说明了通过调查转型的转型方式与可持续经济体的情况来使用这种框架。
translated by 谷歌翻译
自动编码器表现出令人印象深刻的能力,可以将数据歧管嵌入到低维的潜在空间中,使其成为表示方法的主要内容。但是,如果没有明确的监督(通常是不可用的显式监督),该表示通常无法解释,从而使分析和有原则的进度具有挑战性。我们提出了一个称为潜在响应的框架,该框架利用了变异自动编码器展示的本地缔合行为,以探索学习的歧管。更具体地说,我们开发了使用潜在空间中的干预措施来探测表示形式的工具,以量化潜在变量之间的关系。我们扩展了分离的概念,以考虑到学习的生成过程,因此避免了可能依赖虚假相关性的现有指标的局限性。我们的分析强调了研究表示的因果结构的重要性,以提高在下游任务上的性能,例如发电,插值和变异因素的推断。
translated by 谷歌翻译
在许多学科中,在大量解释变量中推断反应变量的直接因果父母的问题具有很高的实际意义。但是,建立的方法通常至少会随着解释变量的数量而呈指数级扩展,难以扩展到非线性关系,并且很难扩展到周期性数据。受{\ em Debiased}机器学习方法的启发,我们研究了一种单Vs.-the-Rest特征选择方法,以发现响应的直接因果父母。我们提出了一种用于纯观测数据的算法,同时还提供理论保证,包括可能在周期存在下的部分非线性关系的情况。由于它仅需要对每个变量进行一个估计,因此我们的方法甚至适用于大图。与既定方法相比,我们证明了显着改善。
translated by 谷歌翻译
可以培训生成模型以模拟复杂的经验数据,但它们是有用的,可以在先前未观察到的环境的上下文中进行预测吗?促进这种外推能力的直观思想是具有这种模型的架构反映真实数据生成过程的因果图,使得可以独立于其他节点介入每个节点。然而,该图的节点通常是不可观察的,导致过度公开表化和缺乏因果结构的可识别性。通过定义机制独立原则,我们制定理论框架来解决这一具有挑战性的情况,以解决较弱的可识别性。我们在玩具例子上展示了经典随机梯度下降可以阻碍模型的外推能力,建议在培训期间明确地强制执行机制的独立性。关于现实世界数据培训的深度生成模型的实验支持这些见解,并说明如何利用这些模型的外推能力。
translated by 谷歌翻译
Recent advances in deep learning have enabled us to address the curse of dimensionality (COD) by solving problems in higher dimensions. A subset of such approaches of addressing the COD has led us to solving high-dimensional PDEs. This has resulted in opening doors to solving a variety of real-world problems ranging from mathematical finance to stochastic control for industrial applications. Although feasible, these deep learning methods are still constrained by training time and memory. Tackling these shortcomings, Tensor Neural Networks (TNN) demonstrate that they can provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. Besides TNN, we also introduce Tensor Network Initializer (TNN Init), a weight initialization scheme that leads to faster convergence with smaller variance for an equivalent parameter count as compared to a DNN. We benchmark TNN and TNN Init by applying them to solve the parabolic PDE associated with the Heston model, which is widely used in financial pricing theory.
translated by 谷歌翻译
This report summarizes the work carried out by the authors during the Twelfth Montreal Industrial Problem Solving Workshop, held at Universit\'e de Montr\'eal in August 2022. The team tackled a problem submitted by CBC/Radio-Canada on the theme of Automatic Text Simplification (ATS).
translated by 谷歌翻译
Objective: Accurate visual classification of bladder tissue during Trans-Urethral Resection of Bladder Tumor (TURBT) procedures is essential to improve early cancer diagnosis and treatment. During TURBT interventions, White Light Imaging (WLI) and Narrow Band Imaging (NBI) techniques are used for lesion detection. Each imaging technique provides diverse visual information that allows clinicians to identify and classify cancerous lesions. Computer vision methods that use both imaging techniques could improve endoscopic diagnosis. We address the challenge of tissue classification when annotations are available only in one domain, in our case WLI, and the endoscopic images correspond to an unpaired dataset, i.e. there is no exact equivalent for every image in both NBI and WLI domains. Method: We propose a semi-surprised Generative Adversarial Network (GAN)-based method composed of three main components: a teacher network trained on the labeled WLI data; a cycle-consistency GAN to perform unpaired image-to-image translation, and a multi-input student network. To ensure the quality of the synthetic images generated by the proposed GAN we perform a detailed quantitative, and qualitative analysis with the help of specialists. Conclusion: The overall average classification accuracy, precision, and recall obtained with the proposed method for tissue classification are 0.90, 0.88, and 0.89 respectively, while the same metrics obtained in the unlabeled domain (NBI) are 0.92, 0.64, and 0.94 respectively. The quality of the generated images is reliable enough to deceive specialists. Significance: This study shows the potential of using semi-supervised GAN-based classification to improve bladder tissue classification when annotations are limited in multi-domain data.
translated by 谷歌翻译